Hot Chips 向來都是晶片領域的盛會。2024 年的 Hot Chips 在美國斯坦福大學紀念禮堂隆重舉行。迄今為止，Hot Chips 展會已成功舉辦了 36 屆。

數十年來，該展會一直是探討英特爾、AMD、IBM 以及眾多其他供應商最前沿晶片的熱門之地，各公司也常常借此展會發佈新產品。

輝達：公佈Blackwell架構細節，2024年至2028年的產品路線圖

英特爾：下一代英特爾至強 6 SoC、Lunar Lake客戶端處理器

特斯拉：TTPoE，即特斯拉乙太網路傳輸協議

中國香山高性能RISC-V處理器亮相

01    輝達：公佈Blackwell架構細節

輝達公佈了下一代GPU架構Blackwell的更多細節資訊，以及未來的產品路線圖。

輝達Blackwell是通用計算全端矩陣的終極解決方案，由多個輝達晶片組成，包括Blackwell GPU、Grace CPU、BlueField資料處理單元、ConnectX網路介面卡、NVLink交換機、Spectrum乙太網路交換機和Quantum InfiniBand交換機。

它涵蓋了從CPU和GPU計算，到用於互連的不同類型的網路。這是晶片到機架和互連，而不僅僅是GPU。它是有史以來單個GPU所擁有的最強AI計算、記憶體頻寬和互連頻寬。通過使用高頻寬介面（NV-HBI），可在兩個GPU晶片之間提供10TB/s的頻寬。

此外，輝達還引入了新的FP4和FP6精度。降低計算精度是提高性能的一種眾所周知的方法。通過輝達的Quasar量化系統，可以找出那些方面可以使用較低的精度，從而減少計算和儲存。輝達表示，用於推理的FP4在某些情況下可以接近BF16性能。

NVLink交換機晶片和NVLink交換機托盤（tray）旨在以更低的功耗推送大量資料。輝達演示了GB200 NVL72和NVL36。其中，NVL72包含36個Grace GPU和72個Blackwell GPU，專為兆參數AI而設計。GB200 NVL 72作為一個統一系統，對大語言模型（LLM）推理性能提升高達30倍，釋放了即時運行數兆個參數模型的能力。

輝達表示，隨著AI模型尺寸的增加，在多個GPU上拆分工作負載勢在必行。而Blackwell足夠強大，可以在一個GPU中處理專家模型。

輝達還展示了2024年至2028年的產品路線圖。2026年的1.6T ConnectX-9似乎表明了輝達對PCIe Gen7的需求，因為PCIe Gen6 x16無法處理1.6T的網路連線。


02    IBM：下一代 AI 加速器，Telum II

2021 年，IBM推出了IBM Telum 處理器，這是 IBM 首款用於推理的先進處理器晶片 AI 加速器。Telum 處理器實現業務成果的能力一直是 IBM z16大型機計畫成功的關鍵驅動因素。隨著客戶需求的發展，IBM 不斷創新並突破新興技術的極限。

在今年的Hot Chips 2024大會上，IBM 宣佈推出面向 AI 時代的下一代企業計算，即 IBM Telum II 處理器和 IBM Spyre Accelerator 預覽版。預計兩者將於 2025 年上市。

採用三星 5nm 技術開發的全新 IBM Telum II 處理器將配備八個高性能核心，運行頻率為 5.5GHz。Telum II 的片上快取容量將增加 40%，虛擬 L3 和虛擬 L4 分別增加到 360MB 和 2.88GB。該處理器整合了專門用於 IO 加速的全新資料處理單元 (DPU) 和下一代片上 AI 加速。這些硬體增強旨在為客戶提供比前幾代產品顯著的性能改進。

每個加速器的計算能力預計將提高 4 倍，達到每秒 24 兆次運算 (TOPS)。但僅憑 TOPS 並不能說明全部情況。這完全取決於加速器的架構設計以及位於加速器之上的 AI 生態系統的最佳化。當談到生產企業工作負載中的 AI 加速時，適合用途的架構至關重要。Telum II 旨在使模型執行階段能夠與最苛刻的企業工作負載並駕齊驅，同時提供高吞吐量、低延遲推理。此外，還增加了對 INT8 作為資料類型的支援，以增強首選 INT8 的應用程式的計算能力和效率，從而支援使用較新的模型。

還加入了新的計算原語，以更好地支援加速器內的大型語言模型。它們旨在支援越來越廣泛的 AI 模型，以便對結構化資料和文字資料進行全面分析。

在 Hot Chips 2024 上，IBM 還展示了 IBM Spyre 加速器，它是與 IBM Research 和 IBM Infrastructure Development 聯合開發的。Spyre 加速器將包含 32 個 AI 加速器核心，這些核心將與整合在 Telum II 晶片中的 AI 加速器共享類似的架構。多個 IBM Spyre 加速器可以通過 PCIe 連接到 IBM Z 的 I/O 子系統中。將這兩種技術結合起來可以大幅增加可用的加速量。

Spyre 晶片上有一個 32 字節雙向環連接 32 個核心（我們認為是 34 個核心，但只有 32 個處於活動狀態），還有一個單獨的 128 字節環連接與核心相關的暫存器記憶體。核心支援 INT4、INT8、FP8 和 FP16 資料類型。

03    英特爾：下一代英特爾至強 6 SoC、Lunar Lake 客戶端處理器

在 Hot Chips 2024 上，英特爾發表了四篇技術論文，重點介紹了英特爾至強 6 SoC、Lunar Lake 客戶端處理器、英特爾 Gaudi 3 AI 加速器和 OCI 晶片組。

英特爾至強 6 SoC 將英特爾至強 6 處理器的計算晶片組與基於intel 4 工藝技術建構的邊緣最佳化 I/O 晶片組相結合。與之前的技術相比，這使 SoC 在性能、能效和電晶體密度方面實現了顯著提升。其他功能包括：

最多 32 條通道 PCI Express (PCIe) 5.0。

最多 16 條通道 Compute Express Link (CXL) 2.0。

相容 BGA 封裝中的四個和八個記憶體通道。

lEdge 特定的增強功能，包括擴展的工作溫度範圍和工業級可靠性，使其成為高性能堅固裝置的理想選擇。

英特爾至強 6 SoC 還包括旨在提高邊緣和網路工作負載性能和效率的功能，其中包括新媒體加速，可增強即時 OTT、VOD 和廣播媒體的視訊轉碼和分析；英特爾高級向量擴展和英特爾高級矩陣擴展，可提高推理性能；英特爾QuickAssist 技術，可實現更高效的網路和儲存性能；英特爾 vRAN Boost，可降低虛擬化 RAN 的功耗；並支援英特爾Tiber 邊緣平台，讓使用者能夠以類似雲的簡便性在標準硬體上建構、部署、運行、管理和擴展邊緣和人工智慧解決方案。

Lunar Lake 客戶端處理器。與上一代相比，新的性能核心 (P 核心） 和高效核心 (E 核心） 可提供驚人的性能，而系統級晶片功耗降低了 40%。與上一代相比，新的神經處理單元速度提高了 4 倍，從而實現了生成式 AI (GenAI) 的相應改進。此外，新的 X e 2 圖形處理單元核心將遊戲和圖形性能提高了 1.5 倍。有關 Lunar Lake 的更多詳細資訊將於9 月 3 日在英特爾酷睿超極本發佈會期間公佈。

英特爾 Gaudi 3 AI 加速器。人工智慧加速器首席架構師 Roman Kaplan 介紹了需要大量計算能力的生成式人工智慧模型的訓練和部署。隨著系統規模的擴大（從單個節點擴展到龐大的數千個節點叢集），這會帶來巨大的成本和功耗挑戰。

英特爾 Gaudi 3 AI 加速器通過最佳化計算、記憶體和網路架構來解決這些問題，同時採用高效矩陣乘法引擎、兩級快取整合和廣泛的 RoCE（融合乙太網路上的 RDMA）網路等策略。這使 Gaudi 3 AI 加速器能夠實現顯著的性能和能效，使 AI 資料中心能夠更經濟高效、更可持續地運行，解決部署 GenAI 工作負載時的可擴展性問題。


在 Hot Chips 上，AMD 深入介紹了其全新的 Zen 5 核心架構，該架構將為其下一次高性能 PC 之旅提供動力。

AMD 的 Zen 1 核心架構於 2017 年首次推出，此後，該公司推出了五種新架構（Zen+、Zen 2、Zen 3、Zen 4、Zen 5）。AMD 在本世紀初推出了 Zen 3 架構，該架構在利用 7nm/6nm 工藝技術的同時，將 IPC 提高了 19%，具有 8 核覆合體，並增加了每個 CCX 的 L3 快取。

該公司隨後發佈了 Zen 4，帶來了另外 14% 的 IPC 改進、AVX-512（FP-256）指令、將 L2 快取增加一倍至 1 MB、支援 VNNI/BFLOAT16 並採用 5nm 和 4nm 工藝技術。

今年，AMD 推出了其最新的高性能核心架構 Zen 5，該架構通過 AVX-512 和 FP-512 變體將 IPC 提升了 16%，具有 8 寬調度、6 個 ALU、雙管道提取/解碼和 4nm/3nm 技術利用率。今天，AMD 正在 Hot Chips 上深入研究其 Zen 5 的完整架構。

AMD 首先闡述了 Zen 5 的設計目標。在性能方面，Zen 5 旨在實現 1T 和 NT 性能的又一次重大提升，平衡跨核 1T/NT 指令和資料吞吐量，建立前端平行性，提高執行平行性，提高吞吐量，實現高效的資料移動和預取，並支援 AVX512/FP512 資料路徑以提高吞吐量和 AI。同時，AMD 希望通過其 Zen 5 和 Zen 5C 核心變體新增新功能，例如額外的 ISA 擴展和新的安全功能，以及擴展平台支援。

#Hot Chips 你可以在這裡找到鉅亨號中所有使用「Hot Chips」為關鍵字所發布的內容